DPE-Rec: Diversity-Preserving and Efficient Diffusion Language Model Recommendation for Bundle Construction
DPE-Rec：面向 Bundle 构造的多样性保持与高效扩散推荐
🧭 生成式推荐 · Diffusion Semantic ID ★ 深度解读
Arizona State University · Stevens Institute of Technology
针对扩散语言模型在 bundle 构造中的多样性损失与并行解码质量退化，提出语义分叉感知 GRPO 与伪轨迹蒸馏，实现质量提升 63%、推理加速 25.6 倍
📌 工作参考价值（4 点）
- 在语义 ID 生成中，第一层 token 是粗粒度语义分叉，后续 token 是细粒度 refinement；可在后训练或采样时对第一层 token 设置更高温度（如 0.6）以增加多样性，后续层设置低温度（如 0.2）保证准确率。这种 level-specific temperature 可直接迁移到电商类目/品牌/商品 ID 生成。
- 如需对 diffusion 模型做多样性优化，可借鉴其「autoregressive rollout + GRPO」后训练方式：仅通过推理顺序构造 AR 策略，不改动双向注意力架构，训练后仍保留并行解码能力。这比直接换因果模型成本低、兼容性好。
- 推理加速上，伪轨迹蒸馏十分实用：用高质量顺序解码生成若干轨迹，只在这些轨迹诱导的中间状态上训练 student，使 student 能可靠地一次性并行 decode 多个 token，降低 denoise 步数。该方法可复用到生成式推荐、query 生成等 DLM 场景，几乎不损失质量但大幅降延迟。
- 对生成的 SID 做 legalization（映射回 catalog，非法 SID 用语义向量相似度匹配最近 item）是保证线上可用性的必要后处理，尤其在并行解码打开多 token 时，能有效避免生成不存在的商品 ID。